const express = require('express')
const axios = require('axios')
const cheerio = require('cheerio')
const request = require('request')
const spider = require('./src/spider')
const app = express()
const port = 4000

// 定义一个爬虫路由
app.get('/spider', async (req, res) => {
  try {
    // 发起 HTTP 请求获取目标网页内容
    await new spider({ url: 'https://www.zxxk.com/soft/50038547.html' }).start().then((response) => {
      res.status(200).send(response)
    }).catch((error) => {
      res.status(500).send('爬取失败')
    })
  } catch (error) {
    console.error('爬取失败：', error)
    res.status(500).send('爬取失败')
  }
})

// 启动服务器
app.listen(port, () => {
  console.log(`爬虫服务运行在 http://localhost:${port}`)
})